Vào năm 604, Tùy Văn Đế băng hà và ngôi vua được truyền cho Tùy Dạng Đế. Tùy Dạng Đế giao cho Đức Di và Vũ Văn Khải (宇文愷) phụ trách việc xây dựng cung điện chính tại Đông Đô Lạc Dương, Hiển Nhân Cung (顯仁宮), và họ đã thực hiện công việc này rất xuất sắc. Mặc dù vậy, Đức Di không được thăng chức và vẫn là Nội sử xá nhân cho đến năm 617.

Vào khoảng năm 617, ông trở thành mưu sĩ thân cận và phục vụ dưới trướng của Nội sử thị lang Ngu Thế Cơ. Vì Thế Cơ không quen với chuyện công vụ nên ông giao lại mọi chuyện cho Đức Di xử lý, hơn nữa Đức Di cũng quá quen xử lý chuyện công vụ nên Thế Cơ hoàn toàn đặt niềm tin vào ông. Những chiếu lệnh được Đức Di soạn thảo đều hướng đến mục đích là làm vừa lòng Tùy Dạng Đế. Không những thế, Đức Di còn chặn không cho những vị quan có ý kiến trái ngược với Tùy Dạng Đế được dâng sớ lên nói về tình hình hiện tại của triều Tùy. Ngoài ra, ông còn tỏ ra là một người rất nghiêm khắc trong việc áp dụng các hình luật và thường giảm phần thưởng với các vị quan có đóng góp trong triều. Chính vì thế mà trong Cựu Đường thư, Đức Di đã bị các học giả chỉ trích do chính các hành động của ông mà Tùy Dạng Đế ngày càng tin yêu Ngu Thế Cơ hơn và góp phần khiến cho chính quyền nhà Tùy càng ngày càng bại hoại.[1]

Vào mùa xuân năm 618, triều Tùy bị cuốn vào những cuộc khởi nghĩa của nông dân. Tùy Dạng Đế, lúc này đang ở Giang Đô (江都, Dương Châu, Giang Tô ngày nay), đã bị Vũ Văn Hóa Cập lật đổ. Sau khi quân lính của Vũ Văn Hóa Cập bao vây Tùy Dạng Đế trong cung điện, Vũ Văn Hóa Cập liền yêu cầu Đức Di kể tội của Tùy Dạng Đế. Tùy Dạng Đế liền nói với Đức Di: "Phong Đức Di, ngươi là một người đọc sách thánh hiền. Tại sao chuyện đại nghịch bất đạo như vậy mà ngươi cũng đồng ý thực hiện?". Đức Di vì quá xấu hổ nên đã lui ra phía sau để tránh ánh mắt của Tùy Dạng Đế. Vũ Văn Hóa Cập sau đó ra tay giết Tùy Dạng Đế và đưa người cháu ruột của ông là Tần Vương Dương Hạo lên nối ngôi.